🤔 Почему моя модель машинного обучения резко теряет точность после выхода в продакшн, хотя на тестах всё было отлично
Потому что модель обучалась на «чистом» датасете, а в продакшне сталкивается с реальными, грязными и непредсказуемыми данными.
🧩Типовые причины падения качества:
1. Искажения входных признаков — Например, в одном из полей вместо десятичного значения приходит строка или ноль. Модель не понимает контекст и делает ошибочный прогноз.
2.Отсутствие валидации на этапе inference — Если данные не проходят базовую проверку перед подачей в модель, она работает на мусоре. А мусор на входе = мусор на выходе (GIGO).
3. Появление новых распределений (data drift) — В продакшн приходят значения, которых в трейне не было. Модель не обучалась на таких случаях и путается.
4. Неверная предобработка в проде — Самая частая причина: трансформации признаков в проде не совпадают с тем, как они делались в трейне. Всё — от разного кодирования категорий до забытых скейлеров.
🛠Как защититься
➡️ Внедрить валидацию входных данных (тип, диапазон, формат). ➡️ Использовать инвариантные признаки, устойчивые к мелким искажениям. ➡️ Настроить мониторинг данных на inference, чтобы ловить отклонения от трейна. ➡️ Автоматизировать регулярное переобучение с учётом новых поступающих данных. ➡️ Обеспечить идентичность пайплайнов: то, что в трейне — то и в проде.
🤔 Почему моя модель машинного обучения резко теряет точность после выхода в продакшн, хотя на тестах всё было отлично
Потому что модель обучалась на «чистом» датасете, а в продакшне сталкивается с реальными, грязными и непредсказуемыми данными.
🧩Типовые причины падения качества:
1. Искажения входных признаков — Например, в одном из полей вместо десятичного значения приходит строка или ноль. Модель не понимает контекст и делает ошибочный прогноз.
2.Отсутствие валидации на этапе inference — Если данные не проходят базовую проверку перед подачей в модель, она работает на мусоре. А мусор на входе = мусор на выходе (GIGO).
3. Появление новых распределений (data drift) — В продакшн приходят значения, которых в трейне не было. Модель не обучалась на таких случаях и путается.
4. Неверная предобработка в проде — Самая частая причина: трансформации признаков в проде не совпадают с тем, как они делались в трейне. Всё — от разного кодирования категорий до забытых скейлеров.
🛠Как защититься
➡️ Внедрить валидацию входных данных (тип, диапазон, формат). ➡️ Использовать инвариантные признаки, устойчивые к мелким искажениям. ➡️ Настроить мониторинг данных на inference, чтобы ловить отклонения от трейна. ➡️ Автоматизировать регулярное переобучение с учётом новых поступающих данных. ➡️ Обеспечить идентичность пайплайнов: то, что в трейне — то и в проде.
With the help of the Search Filters option, users can now filter search results by type. They can do that by using the new tabs: Media, Links, Files and others. Searches can be done based on the particular time period like by typing in the date or even “Yesterday”. If users type in the name of a person, group, channel or bot, an extra filter will be applied to the searches.
That growth environment will include rising inflation and interest rates. Those upward shifts naturally accompany healthy growth periods as the demand for resources, products and services rise. Importantly, the Federal Reserve has laid out the rationale for not interfering with that natural growth transition.It's not exactly a fad, but there is a widespread willingness to pay up for a growth story. Classic fundamental analysis takes a back seat. Even negative earnings are ignored. In fact, positive earnings seem to be a limiting measure, producing the question, "Is that all you've got?" The preference is a vision of untold riches when the exciting story plays out as expected.
Библиотека собеса по Data Science | вопросы с собеседований from vn
